在最近的方法论文中，我们展示了如何使用当地集合卡尔曼滤波器来学习混沌动力学以及状态轨迹。在这里，我们更系统地调查使用具有协方差定位或本地域的本地集合卡尔曼滤波器的可能性，以便检索状态和密钥全局和本地参数的混合。全局参数旨在代表代理动态核心，例如通过神经网络，这些核心让人想起数据驱动的动态机器学习，而本地参数通常代表模型的强制。针对联合状态和参数估计，提出了一种用于协方差和局域定位的一系列算法。特别是，我们展示了如何使用诸如本地集合变换卡尔曼滤波器（LetkF），这是一个固有的本地方法的本地域集合Kalman滤波器（ENKF）严格更新全局参数。使用几种本地ENKF味道在40变量LORENZ模型上取得了成功测试方法。最终提供基于多层Lorenz模型的二维图示。它使用辐射状的非本地观测。它具有本地域名和协方差本地化，以便学习混沌动态和本地强制。本文始终涉及全局和本地模型参数的在线估计的关键问题。
translated by 谷歌翻译
The ability to compare the semantic similarity between text corpora is important in a variety of natural language processing applications. However, standard methods for evaluating these metrics have yet to be established. We propose a set of automatic and interpretable measures for assessing the characteristics of corpus-level semantic similarity metrics, allowing sensible comparison of their behavior. We demonstrate the effectiveness of our evaluation measures in capturing fundamental characteristics by evaluating them on a collection of classical and state-of-the-art metrics. Our measures revealed that recently-developed metrics are becoming better in identifying semantic distributional mismatch while classical metrics are more sensitive to perturbations in the surface text levels.
translated by 谷歌翻译
Neural networks have recently allowed solving many ill-posed inverse problems with unprecedented performance. Physics informed approaches already progressively replace carefully hand-crafted reconstruction algorithms in real applications. However, these networks suffer from a major defect: when trained on a given forward operator, they do not generalize well to a different one. The aim of this paper is twofold. First, we show through various applications that training the network with a family of forward operators allows solving the adaptivity problem without compromising the reconstruction quality significantly. Second, we illustrate that this training procedure allows tackling challenging blind inverse problems. Our experiments include partial Fourier sampling problems arising in magnetic resonance imaging (MRI), computerized tomography (CT) and image deblurring.
translated by 谷歌翻译
基于机器学习（ML）的系统的制作需要在其生命周期中进行统计控制。仔细量化业务需求和识别影响业务需求的关键因素降低了项目故障的风险。业务需求的量化导致随机变量的定义，表示通过统计实验需要分析的系统关键性能指标。此外，可提供的培训和实验结果产生影响系统的设计。开发系统后，测试并不断监控，以确保其符合其业务需求。这是通过持续应用统计实验来分析和控制关键绩效指标来完成的。本书教授制作和开发基于ML的系统的艺术。它倡导“首先”方法，强调从项目生命周期开始定义统计实验的需要。它还详细讨论了如何在整个生命周期中对基于ML的系统进行统计控制。
translated by 谷歌翻译
API经济是指API（高级编程界面）微猎犬的广泛集成，软件应用程序可以相互通信，作为业务模型和功能的重要元素。可以使用这种系统的可能方式的数量是巨大的。因此，希望监视使用模式并识别系统以以前从未使用的方式使用。这为系统分析师提供了警告，并且可以确保系统不间断运行。在这项工作中，我们分析了API使用量的直方图和呼叫图，以确定系统的使用模式是否已移位。我们比较非参数统计和贝叶斯顺序分析对问题的应用。这是以一种克服重复统计测试问题的方式完成，并确保警报的统计显着性。该技术被模拟和测试，并证明有效地检测各种场景的漂移。我们还提到了对技术的修改来减少其存储器，以便在监控开始时发生在分布漂移时可以更快地响应。
translated by 谷歌翻译
2021-11-02
在稀疏的奖励设置学习最优策略是困难的，因为学习代理人也鲜有其行动的质量没有反馈。在这些情况下，一个好的策略是专注于探索，希望能导致回报信号，以改善的发现。一个能够处理这种设置的学习算法必须能够（1）探讨可能的代理行为和（2）利用任何可能发现的奖励。高效勘探算法已经被提出，需要在被称为是一个值得探讨的空间中定义一个行为空间，即联营公司代理其产生的行为。需要定义这个空间是这些算法的限制。在这项工作中，我们介绍了STAX，旨在学习上的即时行为空间，并探索它的同时有效地优化发现任何报酬的算法。它通过分离的探索，并通过交替的两步过程中从奖励的剥削行为空间的学习这样做。在第一步骤中，建立STAX多样化策略的所有组成成分，同时学习策略评估过程中产生的高维观测值的低维表示。在开发步骤中，发射器用于优化发现有价值的解决方案的性能。在三个不同的稀疏奖励的环境进行的实验显示，STAX执行同等于现有基准，同时要求有关任务的要少得多的先验信息，因为它建立自主的行为空间。
translated by 谷歌翻译
考虑一个结构化的特征数据集，例如$ \ {\ textrm {sex}，\ textrm {compy}，\ textrm {race}，\ textrm {shore} \} $。用户可能希望在特征空间观测中集中在哪里，并且它稀疏或空的位置。大稀疏或空区域的存在可以提供软或硬特征约束的域知识（例如，典型的收入范围是什么，或者在几年的工作经验中可能不太可能拥有高收入）。此外，这些可以建议用户对稀疏或空区域中的数据输入的机器学习（ML）模型预测可能是不可靠的。可解释的区域是一个超矩形，例如$ \ {\ textrm {rame} \ in \ {\ textrm {black}，\ textrm {white} \} \} \} \＆$ $ \ {10 \ leq \ ：\ textrm {体验} \：\ leq 13 \} $，包含满足约束的所有观察;通常，这些区域由少量特征定义。我们的方法构造了在数据集中观察到的特征空间的基于观察密度的分区。它与其他人具有许多优点，因为它适用于原始域中的混合类型（数字或分类）的特征，也可以分开空区域。从可视化可以看出，所产生的分区符合人眼可能识别的空间分组;因此，结果应延伸到更高的尺寸。我们还向其他数据分析任务展示了一些应用程序，例如推断M1模型误差，测量高尺寸密度可变性以及治疗效果的因果推理。通过分区区域的超矩形形式可以实现许多这些应用。
translated by 谷歌翻译
训练有素的ML模型被部署在另一个“测试”数据集上，其中目标特征值（标签）未知。漂移是培训数据和部署数据之间的分配变化，这是关于模型性能是否改变的。例如，对于猫/狗图像分类器，部署过程中的漂移可能是兔子图像（新类）或具有变化特征（分布变化）的猫/狗图像。我们希望检测这些更改，但没有部署数据标签，无法衡量准确性。相反，我们通过非参数测试模型预测置信度变化的分布间接检测到漂移。这概括了我们的方法，并回避特定于域特异性特征表示。我们使用变更点模型（CPMS；参见Adams and Ross 2012）解决了重要的统计问题，尤其是在顺序测试中类型1误差控制。我们还使用非参数异常方法来显示用户可疑观察结果以进行模型诊断，因为更改置信度分布显着重叠。在证明鲁棒性的实验中，我们在MNIST数字类别的子集上进行训练，然后在各种设置中的部署数据中插入漂移（例如，看不见的数字类）（漂移比例的逐渐/突然变化）。引入了新的损耗函数，以比较不同水平的漂移类污染的漂移检测器的性能（检测延迟，1型和2个误差）。
translated by 谷歌翻译
Deep learning frameworks have often focused on either usability or speed, but not both. PyTorch is a machine learning library that shows that these two goals are in fact compatible: it provides an imperative and Pythonic programming style that supports code as a model, makes debugging easy and is consistent with other popular scientific computing libraries, while remaining efficient and supporting hardware accelerators such as GPUs. In this paper, we detail the principles that drove the implementation of PyTorch and how they are reflected in its architecture. We emphasize that every aspect of PyTorch is a regular Python program under the full control of its user. We also explain how the careful and pragmatic implementation of the key components of its runtime enables them to work together to achieve compelling performance. We demonstrate the efficiency of individual subsystems, as well as the overall speed of PyTorch on several common benchmarks.
translated by 谷歌翻译